之前講到static suite是在自己在Test plan中建立了一個資料夾,然後把你想要的Test Case一個個建立在裡面。但是也如同之前討論到的,static suite 並沒有辦法很直觀的讓我們在Board上看到,其實讓我們有一點頭疼。
那昨天的最後我們開始談Requirement Base suite,發現到這個類型的suite是基於需求而建立的,因此昨天把我預先建立的兩個user story 給匡列起來,然後準備各自建立了test case,讓大家可以看到可能會長成甚麼樣子。
那由於我其中一個user story 是 803:身為一個會員,我應該要可以變更我的大頭照。,這是之前在static suite 就有做過的案例,所以我們來匯入:
然後我們把之前那個static suite當中的那3個test case 匯入我們建立的Requirement Base suite。
匯入之後,我們趕快跑到Board去看看,神奇的事情發生了。可以看到,剛剛那個Requirement Base suite裡面我們所匯入的Test Case,被呈現到User Story上面了。
但是我們再回到Test suite裡面看,我們發現新的Requirement Base suite中,奇怪了,那三個Test Case不是我剛剛測試過了?而且會發現下面的Static suite 也呈現測試過了,那為何在這裡卻是沒有測試過?
這個問題其實困擾了我跟我同事好一陣子,最後得出了一個結論,那就是。
測試個案只是一個腳本,測試點是基於不同次的計畫或組合中,被指定給測試者進行測試的。
這表示腳本可以不斷重複被利用,仰賴於該次計畫或組合中的目的。
基於上面的那個結論,我們來把另外一個user story也指定一些test case,那我們重複利用登入#774與登出#775這兩個。
好,我們這次不在Test Plan 中進行測試了,我們做一個叫做內嵌測式的動作。
為了版面好看,我把這兩個user story 修圖後都放在一起,其實他是在同一個狀態的。
接下來,我們在803這張卡片的Case test login ithelp 按下右鍵,然後我們按下Run Test。
你就會發現你的Runner就被建立起來了,那我們就可以進行測試的動作。但是要注意的是,你在這裡的測試,一次只能選擇一個測試點進行測試,這表示如果你Test case 1~3 是有順序性的,那就要連續按三次,才可以把三個項目測試完。
另外還有好幾件事情要注意。
首先先看右下角的windows 10,這張圖表示並沒有其他configuration的設定,但其實我在803這張卡片是有設定三個環境的。
這表示他只有預設抓了一個configuration 進行測試,那如果我們這幾個項目在Board 的上面,都勾測試成功會發生甚麼事情?讓我們來試試看。
奇怪的事情發生了,Board上面顯示Pass,但是你來測試點,卻只有看到其中三個windows 10的測試點通過,其他都還是Active的狀態。
好,讓我們再來做第二個實驗,如果我把Case Test Login ithelp ,chrome的這個測試設定為failed呢?讓我們來看看。
Orz..怎麼回事,到底在board 中的user story上的Test Case那個小勾勾,代表的是?這時候魔鬼藏在細節裡面,我們來看看原廠文件怎麼寫。
工作流程看板中的測試狀態如果需求型套件已指派一個以上的設定,工作流程看板中的測試狀態將無法運作。 在這種情況下,工作流程看板只會顯示預設組態的測試結果。 因此,建議您使用測試管理員來管理/追蹤多個組態的測試進度。
居然藏在最後一行裡面,這表示說,如果你有兩組以上的組態,他只會顯示預設的,因此請到測試管理員那裏去使用(原廠文件就是不簡單)。
這個功能是這次寫系列文的時候,剛好看到了這個按鈕,就給他按下去,結果會看到瀏覽器上面的套件閃阿閃,不知道在做甚麼,因此我又跑去翻原廠文件與網路文章,才大概了解了這個功能。
當你在某一個user story按下Do exploratory testing時,在按下開始,你會看到下面畫面。
會發現到他會跟你的user story(我這裡是#803)關聯起來,那如果有驗收項目,那就會被顯示在下面的紅框中。
另外上面各個按鈕從1-5分別是1.照相截圖 2.留訊息 3.錄影 4.開立workitem 5.時間線。
簡單說一下,這是一種類似叫做自由探索測試的功能,他會把你基於這一個user story關聯開始,進行測試者自由測試,因此測試者可以用1-3的功能,進行一連串的動作,這些動作呢,都會被留在5的時間線中。當你覺得遇到了Bug,就可以到4去開立一個Bug,然後那些時間線的紀錄,都會被記錄在Bug單中。
現在我就來做一系列的動作,順序如下:
1.留言:我來測試抓臭蟲
2.截一張圖片
3.錄一段影片
那好吧,基於這些紀錄,我們來開一張Bug單,其實他不只可以開Bug單,也可以開Task或是Test Case,就看需求。那這次我就定義成我發現了臭蟲,我來開Bug。
那我們先回到user story上,會看到的確有一個Bug被開成了,而且所有的細節跟步驟都被記錄下來了。
測試真的是門學問,建議一定要有專門測試的團隊來進行。